# 가중치 초기화 (Weight Initialization)

## 개요

**가중치 초기화**(Weight Initialization)는 인공 신경망(Artificial Neural Network)을 학습시키기 전에 네트워크의 가중치(Weight)와 바이어스(Bias)에 초기값을 부여하는 과정을 의미합니다. 딥러닝 모델의 성능은 아키텍처와 하이퍼파라미터뿐만 아니라, 초기 가중치 설정에 크게 좌우됩니다. 부적절한 초기화는 학습 과정에서 **기울기 소실(Gradient Vanishing)** 또는 **기울기 폭발(Gradient Exploding)** 문제를 유발하여 모델이 수렴하지 못하거나 학습 속도가 극도로 느려지는 원인이 됩니다. 따라서 적절한 가중치 초기화 기법은 신경망 학습의 안정성과 수렴 속도를 결정하는 핵심 요소입니다.

## 가중치 초기화의 필요성

신경망은 비선형 활성화 함수를 통해 복잡한 패턴을 학습합니다. 만약 모든 가중치를 0으로 초기화하거나 매우 작은 상수로 초기화할 경우, 역전파(Backpropagation) 과정에서 각 뉴런이 동일한 기울기를 받게 되어 대칭성 깨짐(Symmetry Breaking)이 일어나지 않습니다. 이는 네트워크가 단일 뉴런과 동일한 기능을 하게 만들어 학습 능력을 상실시킵니다.

또한, 층이 깊어질수록 활성화 값의 분산이 층을 거치면서 기하급수적으로 증가하거나 감소할 수 있습니다. 이를 방지하기 위해 각 층의 입력과 출력 분산을 적절히 조절하는 초기화 전략이 필요합니다.

## 주요 가중치 초기화 기법

### 1. 제로 초기화 (Zero Initialization)
모든 가중치를 0으로 설정하는 방법입니다. 이 방법은 대칭성 문제를 유발하므로 실제 딥러닝 모델에서는 거의 사용되지 않습니다.

### 2. 무작위 초기화 (Random Initialization)
가중치를 작은 무작위 값으로 초기화하여 대칭성을 깨뜨립니다. 그러나 분산 조절이 제대로 되지 않으면 여전히 기울기 소실 또는 폭발 문제가 발생할 수 있습니다.

### 3. Xavier 초기화 (Xavier Initialization / Glorot Initialization)
프랑스 연구자 Xavier Glorot가 제안한 기법으로, 선형 활성화 함수(예: Sigmoid, Tanh)가 사용된 신경망에 적합합니다. 각 층의 입력과 출력 노드 수의 평균을 사용하여 분산을 조절합니다.

*   **수식**: $W \sim \mathcal{N}(0, \sqrt{\frac{2}{n_{in} + n_{out}}})$
*   **특징**: 활성화 값과 기울기의 분산을 층을 통과하며 일정하게 유지하려는 목적을 가집니다.

### 4. He 초기화 (He Initialization / Kaiming Initialization)
Kaiming He 등이 제안한 기법으로, **ReLU(Rectified Linear Unit)** 계열의 활성화 함수가 사용된 심층 신경망에 최적화되어 있습니다. ReLU는 음수 영역에서 기울기가 0이 되므로, Xavier 초기화보다 더 큰 분산을 가진 초기값이 필요할 수 있습니다.

*   **수식**: $W \sim \mathcal{N}(0, \sqrt{\frac{2}{n_{in}}})$
*   **특징**: 입력 노드의 수($n_{in}$)만을 기준으로 분산을 계산하며, ReLU 사용 시 학습 수렴 속도를 크게 향상시킵니다.

### 5. LeCun 초기화 (LeCun Initialization)
Yann LeCun이 제안한 기법으로, Xavier 초기화의 변형 중 하나입니다. 입력 노드의 수($n_{in}$)만을 기준으로 분산을 조절합니다.

*   **수식**: $W \sim \mathcal{N}(0, \sqrt{\frac{1}{n_{in}}})$

## 기법 선택 가이드

| 활성화 함수 | 권장 초기화 기법 | 비고 |
| :--- | :--- | :--- |
| Sigmoid, Tanh | Xavier (Glorot) 초기화 | 분산 조절이 중요 |
| ReLU, Leaky ReLU | He (Kaiming) 초기화 | 음수 영역에서의 기울기 고려 |
| Linear | Xavier 또는 He | 출력 분산 유지 목적 |

## 구현 예시 (PyTorch)

PyTorch에서는 `torch.nn.init` 모듈을 통해 다양한 초기화 기법을 쉽게 적용할 수 있습니다.

```python
import torch
import torch.nn as nn

# Linear 레이어 생성
layer = nn.Linear(100, 50)

# Xavier 초기화 적용
nn.init.xavier_uniform_(layer.weight)
nn.init.zeros_(layer.bias)

# He 초기화 적용 (ReLU 사용 시 권장)
nn.init.kaiming_normal_(layer.weight, nonlinearity='relu')
```

## 결론

가중치 초기화는 딥러닝 모델 학습의 첫 번째이자 가장 중요한 단계 중 하나입니다. 활성화 함수의 특성에 맞는 적절한 초기화 기법을 선택하는 것은 모델의 수렴 속도를 높이고, 국소 최적점(Local Minimum)에 빠지는 것을 방지하며, 전반적인 학습 안정성을 확보하는 데 필수적입니다. 현대 딥러닝 프레임워크는 이러한 초기화 기법을 내장하고 있으므로, 개발자는 모델 아키텍처에 따라 적절한 초기화 전략을 명시적으로 설정하거나 기본값의 의미를 이해하고 사용하는 것이 좋습니다.

## 관련 문서
*   [역전파 (Backpropagation)]
*   [활성화 함수 (Activation Function)]
*   [기울기 소실 문제 (Vanishing Gradient Problem)]
*   [PyTorch 초기화 모듈](https://pytorch.org/docs/stable/nn.init.html)